ReDrafter是一种新颖的推测性解码方法，通过结合RNN草稿模型和动态树注意力机制，显著提高了大型语言模型（LLM）在NVIDIA GPU上的推理速度。这项技术通过加速LLM的token生成，减少了用户可能经历的延迟，同时减少了GPU的使用和能源消耗。ReDrafter由Apple机器学习研究团队开发，并与NVIDIA合作集成到NVIDIA TensorRT-LLM推理加速框架中，为使用NVIDIA GPU的机器学习开发者提供了更快的token生成能力。

AIKit 是一个开源工具，旨在简化大型语言模型（LLMs）的托管、部署、构建和微调过程。它提供了与OpenAI API兼容的REST API，支持多种推理能力和格式，使用户可以使用任何兼容的客户端发送请求。此外，AIKit 还提供了一个可扩展的微调接口，支持Unsloth，为用户提供快速、内存高效且易于使用的微调体验。

FluidStack是一款领先的GPU云平台，为AI和LLM训练提供无限规模。通过全球数据中心网络，用户可以访问50,000多个GPU。FluidStack提供免费试用，并可根据需求无缝扩展规模。它集合了全球数据中心的未充分利用的GPU资源，提供了全球最大规模的GPU云平台。用户可以在数分钟内部署数千个GPU，用于训练新模型或支持现有客户。同时，FluidStack提供最新的NVIDIA GPU，价格市场最佳，并可以将云费用降低70%以上。